Sau đó ông gặp lại được Lưu Bị và Trương Phi, cùng nhau xây dựng lại lực lượng. Lưu Bị liên kết với tướng Khăn Vàng là Cung Đô ở Nhữ Nam. Trong khi đó, Tào Tháo đánh bại Viên Thiệu trong trận quyết định ở Quan Độ năm 200 và năm sau lại đánh bại Thiệu một trận nữa ở Thương Đình (ven sông Hoàng Hà). Viên Thiệu thu quân về, tinh thần suy sụp.

Tháng 6 năm 201, trong lúc họ Viên suy yếu, Tào Tháo mang quân về Hứa Xương rồi sai Sái Dương mang quân tấn công Lưu Bị ở Nhữ Nam. Sái Dương tử trận, Tào Tháo bèn tự cầm đại quân đi đánh. Quân Tào giết chết Cung Đô, Lưu Bị không chống nổi, phải bỏ chạy về Kinh châu theo Lưu Biểu.

Tam Quốc Diễn Nghĩa kể việc Sái Dương do Quan Vũ giết trong quá trình "qua 5 ải chém 6 tướng" sau khi chia tay Tào Tháo trước trận Quan Độ nhưng thực ra không có việc qua ải chém tướng của Quan Vũ, và Sái Dương bị giết ở trận Nhữ Nam.[10]

Năm 208, Tào Tháo sau khi diệt họ Viên, làm chủ toàn bộ trung nguyên, bèn mang quân đánh Kinh châu. Lưu Bị từ Phàn Thành, chuẩn bị mang dân vượt sông, sai Quan Vũ mang mấy trăm chiến thuyền theo dòng sông, hẹn hội binh ở Giang Lăng.

Tào Tháo sợ Lưu Bị chiếm mất Giang Lăng là chỗ chứa nhiều lương thảo, bèn sai 5000 quân kỵ gấp rút đuổi theo. Lưu Bị giao chiến 2 trận đại bại, phải bỏ hết gia quyến chạy về Hán Tân và gặp Quan Vũ.

Tham gia chiến dịch Xích Bích

Tập hợp lực lượng trở lại, Lưu Bị liên kết với Tôn Quyền. Chu Du chỉ huy liên quân, dùng kế hỏa công của Hoàng Cái đánh bại Tào Tháo trong trận Xích Bích cuối năm 208, Quan Vũ cũng cùng Lưu Bị tham chiến. Tào Tháo bại binh, phải nhanh chóng trở về giữ phương bắc, giao cho Tào Nhân và Từ Hoảng ở lại giữ thủ huyện Nam Quận là Giang Lăng, sai Nhạc Tiến giữ Tương Dương.

Tam Quốc Diễn Nghĩa thêu dệt nên tình tiết Quan Vũ trọng nghĩa tha mạng cho Tào Tháo ở đường Hoa Dung. Sự kiện hư cấu này hoàn toàn không có thật, Lưu Bị và Chu Du đã cố đuổi theo Tào Tháo nhưng không kịp.

Các thất bại ở Giang Lăng

Lưu Bị và Tôn Quyền đều muốn nhân đà thắng lợi để giành lấy vùng đất chiến lược Kinh châu. Chu Du cầm vài vạn quân tiền tuyến từ Xích Bích, Ô Lâm tiến đánh Giang Lăng. Lưu Bị, Quan Vũ và Trương Phi mang hơn 1000 quân mã đóng ở bờ nam sông Trường Giang cùng tiến.

Quan Vũ theo lệnh biệt phái của Lưu Bị và Chu Du, mang quân lên phía Bắc nhằm chia cắt liên lạc giữa Thượng Giang và Giang Lăng, chặn đường rút lui của Tào Nhân.

Thái thú Nhữ Nam là Lý Thông dẫn quân đánh Quan Vũ. Vũ thúc quân bủa vây. Lý Thông và các tướng sĩ xuống ngựa nhổ hết chông chà, xông vào vòng vây, vừa đánh vừa tiến lên, cuối cùng phá được vây, đánh lui Quan Vũ.[11]

Nhạc Tiến khi ấy khởi quân ra thành Tương Dương, đánh bại Quan Vũ. Sau đó, Vũ lại dùng thủy binh vây lấy Thượng Giang, nhưng Nhạc Tiến và Văn Sính lại đánh lui được Vũ ở gần Hạ Khẩu, khiến đường nối phía bắc với Giang Lăng của quân Tào được thông suốt.[12] Văn Sính lại tiếp tục dùng thủy quân đuổi đánh Quan Vũ ở Tầm Khẩu, lấy được kho lương và đốt sạch chiến thuyền của Vũ. Với chiến công đó, Sính được tấn phong tước Diên Thọ Đình hầu và chức Thảo nghịch tướng quân.[13]

Trong tiểu thuyết Tam Quốc Diễn Nghĩa, tất cả những thất bại này của Quan Vũ đều bị lượt bỏ.

Bình định phía nam Kinh châu

Chiến dịch bao vây Giang Lăng kéo dài hơn 1 năm mới kết thúc. Tháng chạp năm 209, trước sự vây bức ngày càng ác liệt của quân Đông Ngô, Tào Tháo lệnh cho Tào Nhân bỏ thành Giang Lăng rút về Tương Dương. Chu Du thúc quân vào chiếm đóng Giang Lăng và các huyện phụ cận. Tuy chưa chiếm được toàn bộ Nam quận nhưng Tôn Quyền đã giành quyền kiểm soát đại bộ phận phía nam; chỉ còn Tương Dương và vài huyện quanh đó vẫn trong tay Tào Tháo. Chu Du được Tôn Quyền phong làm Thái thú Nam quận, thiết lập chiến tuyến tiền tiêu tại đây trong cuộc đối đầu với Tào Nhân.

Tam Quốc Diễn Nghĩa thêu dệt ra việc Chu Du sau khi đánh bại được Tào Nhân rồi định đến chiếm thành thì thành đã thuộc về Lưu Bị. Chu Du bực tức quay sang đánh "Kinh châu" (Công An) và Tương Dương nhưng các thành này cũng đã bị Gia Cát Lượng lập kế nẫng tay trên.

Trong khi Lưu Bị và Trương Phi tham gia tác chiến cùng Chu Du, Gia Cát Lượng, Quan Vũ, Triệu Vân phối hợp với Lưu Kỳ tấn công 4 quận phía nam Kinh châu. Vũ được phong thái thú Tương Dương, Đãng khấu tướng quân.[14]

Tam Quốc Diễn Nghĩa có mô tả một trận chiến hư cấu ở Trường Sa, trong đó Quan Vũ đã đại chiến với Hoàng Trung. Trên thực tế Hoàng Trung khuyên thái thú Trường Sa là Hàn Huyền nên không đánh mà hàng Lưu Bị, Huyền đồng ý.